随着深度学习的进步，演讲者的验证取得了很高的准确性，并且在我们日常生活中的许多场景中，尤其是Web服务市场不断增长的一种生物识别验证选项，成为一种生物识别验证选项。与传统密码相比，“人声密码”更加方便，因为它们可以减轻人们记住不同密码的记忆。但是，新的机器学习攻击使这些语音身份验证系统处于危险之中。没有强大的安全保证，攻击者可以通过欺骗基于深神经网络（DNN）的语音识别模型来访问合法用户的Web帐户。在本文中，我们证明了对语音身份验证系统的易于实现的数据中毒攻击，这几乎无法通过现有的防御机制来捕获。因此，我们提出了一种更强大的防御方法，称为“卫报”，该方法是基于卷积神经网络的歧视者。监护人歧视者整合了一系列新型技术，包括减少偏见，输入增强和集成学习。我们的方法能够将约95％的攻击帐户与普通帐户区分开，这比仅准确性60％的现有方法更有效。
translated by 谷歌翻译
我们提出Hypernst；基于超网络和stylegan2体系结构的图像艺术风格的神经风格转移（NST）技术。我们的贡献是一种新颖的方法，用于诱导通过度量空间进行参数化的样式转移，并预先训练基于样式的视觉搜索（SBV）。我们首次证明可以使用此类空间来驱动NST，从而从SBVS系统中启用样式的应用程序和插值。技术贡献是一个超网络，可以预测对型号的stylegan2的重量更新，而在各种各样的艺术内容（肖像）上，可以使用面部区域的语义图在每个区域量身定制样式参数化。我们在保留良好的风格转移性能的同时，在内容保存方面显示了超越最高的内容。
translated by 谷歌翻译
血管分割从图像中提取血管，并作为诊断各种疾病的基础，例如眼科疾病。眼科医生通常需要高分辨率分割结果进行分析，这会导致大多数现有方法的超计算负载。如果基于低分辨率的输入，它们很容易忽略微小的容器或引起分段容器的不连续性。为了解决这些问题，本文提出了一种名为Subersessel的算法，该算法使用低分辨率图像作为输入提供了高分辨率和准确的容器分割。我们首先将超分辨率作为我们的辅助分支，以提供潜在的高分辨率细节特征，可以在测试阶段删除。其次，我们提出了两个模块，以增强感兴趣的分割区域的特征，包括具有特征分解（UFD）模块的上采样和功能相互作用模块（FIM），并限制了损失，以关注感兴趣的功能。与其他最先进的算法相比，在三个公开数据集上进行了广泛的实验表明，我们提出的Supersess可以将更高的细分精度分割为6％以上的细分精度。此外，Supercessel的稳定性也比其他算法更强。发表论文后，我们将发布代码。
translated by 谷歌翻译
尽管最近对Deepfake技术的滥用引起了严重的关注，但由于每个帧的光真逼真的合成，如何检测DeepFake视频仍然是一个挑战。现有的图像级方法通常集中在单个框架上，而忽略了深击视频中隐藏的时空提示，从而导致概括和稳健性差。视频级检测器的关键是完全利用DeepFake视频中不同框架的当地面部区域分布在当地面部区域中的时空不一致。受此启发，本文提出了一种简单而有效的补丁级方法，以通过时空辍学变压器促进深击视频检测。该方法将每个输入视频重组成贴片袋，然后将其馈入视觉变压器以实现强大的表示。具体而言，提出了时空辍学操作，以充分探索斑块级时空提示，并作为有效的数据增强，以进一步增强模型的鲁棒性和泛化能力。该操作是灵活的，可以轻松地插入现有的视觉变压器中。广泛的实验证明了我们对25种具有令人印象深刻的鲁棒性，可推广性和表示能力的最先进的方法的有效性。
translated by 谷歌翻译
2022-07-05
为了适用于现实情况，提出了边界攻击（BAS），并仅使用决策信息确保了100％的攻击成功率。但是，现有的BA方法通过利用简单的随机抽样（SRS）来估算梯度来制作对抗性示例，从而消耗大量模型查询。为了克服SRS的弊端，本文提出了基于拉丁超立方体采样的边界攻击（LHS-BA）以节省查询预算。与SR相比，LHS在相同数量的随机样品中具有更好的均匀性。因此，这些随机样品的平均值比SRS估计的平均梯度更接近真实梯度。在包括MNIST，CIFAR和IMAGENET-1K在内的基准数据集上进行了各种实验。实验结果表明，就查询效率而言，拟议的LHS-BA优于最先进的BA方法。源代码可在https://github.com/gzhu-dvl/lhs-ba上公开获得。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们探索使用大型预用语言模型作为少量语义解析器。语义解析中的目标是给定自然语言输入的结构化含义表示。但是，培训语言模型以生成自然语言。为了弥合差距，我们使用语言模型来解释进入一个类似于英语的受控的子宫内的输入，可以自动映射到目标含义表示表示。我们的结果表明，只有少量的数据和较少的代码转换为类似英语的代表，我们为快速启动语义解析器的蓝图导致了对多个社区任务的令人惊讶的有效性能，大大超过基线方法也在相同的限制上培训数据。
translated by 谷歌翻译
Reading comprehension of legal text can be a particularly challenging task due to the length and complexity of legal clauses and a shortage of expert-annotated datasets. To address this challenge, we introduce the Merger Agreement Understanding Dataset (MAUD), an expert-annotated reading comprehension dataset based on the American Bar Association's 2021 Public Target Deal Points Study, with over 39,000 examples and over 47,000 total annotations. Our fine-tuned Transformer baselines show promising results, with models performing well above random on most questions. However, on a large subset of questions, there is still room for significant improvement. As the only expert-annotated merger agreement dataset, MAUD is valuable as a benchmark for both the legal profession and the NLP community.
translated by 谷歌翻译
We show for the first time that large-scale generative pretrained transformer (GPT) family models can be pruned to at least 50% sparsity in one-shot, without any retraining, at minimal loss of accuracy. This is achieved via a new pruning method called SparseGPT, specifically designed to work efficiently and accurately on massive GPT-family models. When executing SparseGPT on the largest available open-source models, OPT-175B and BLOOM-176B, we can reach 60% sparsity with negligible increase in perplexity: remarkably, more than 100 billion weights from these models can be ignored at inference time. SparseGPT generalizes to semi-structured (2:4 and 4:8) patterns, and is compatible with weight quantization approaches.
translated by 谷歌翻译
Despite the success of large language models (LLMs) in various natural language processing (NLP) tasks, the stored knowledge in these models may inevitably be incomplete, out-of-date, or incorrect. This motivates the need to utilize external knowledge to assist LLMs. Unfortunately, current methods for incorporating external knowledge often require additional training or fine-tuning, which can be costly and may not be feasible for LLMs. To address this issue, we propose a novel post-processing approach, rethinking with retrieval (RR), which retrieves relevant external knowledge based on the decomposed reasoning steps obtained from the chain-of-thought (CoT) prompting. This lightweight approach does not require additional training or fine-tuning and is not limited by the input length of LLMs. We evaluate the effectiveness of RR through extensive experiments with GPT-3 on three complex reasoning tasks: commonsense reasoning, temporal reasoning, and tabular reasoning. Our results show that RR can produce more faithful explanations and improve the performance of LLMs.
translated by 谷歌翻译